Imaginez un érudit accompli qui a lu tous les livres de la Terre mais n'a jamais mis les pieds sur un marché boursier ou dans un hôpital. Bien qu'il possède une capacité de raisonnement large, il manque de logique spécifique à un domaine le type de logique nécessaire pour des décisions à enjeux élevés. C'est précisément ce défi auquel font face les modèles de langage de grande taille (LLM) de base.
Le chemin vers l'expertise
- Apprentissage par transfert et adaptation: Nous ne rejeteons pas la maîtrise générale ; nous la construisons davantage. L'adaptation par domaine est l'application spécifique où nous réalignons l'espace latent du modèle pour reconnaître de nouvelles frontières sémantiques.
- Pré-entraînement continu: Plutôt que de tout recommencer à zéro, nous effectuons un apprentissage auto-supervisé supplémentaire sur des corpus spécialisés (par exemple, les déclarations de la SEC). Cela met à jour les distributions internes de probabilité du modèle pour le vocabulaire.
- Entraînement intermédiaire: Ce pont enseigne au modèle la « logique » du domaine — comme le raisonnement financier ou l'analyse juridique — avant le dernier ajustement fin sur l'objectif final.
Le paradoxe de la « liquidité »
Dans un contexte général, liquidité pourrait signifier l'état physique d'une substance. Grâce à l'adaptation par domaine, le modèle apprend à privilégier la « disponibilité des actifs liquides » lorsqu'il détecte une syntaxe financière, évitant ainsi des interprétations catastrophiques potentielles dans les rapports professionnels.